Xét thấy ở khu vực Chợ Lớn thuộc giáo xứ Chợ Quán, người Việt gốc Hoa theo đạo Công giáo không có nơi cầu nguyện, đô đốc Lagrandière lúc đó đang là Thống đốc Nam Kỳ, đã ra lệnh cho Sở Công trình công cộng dùng tiền công, để xây dựng một ngôi nhà thờ.

Được sự hỗ trợ của chính quyền, Giám mục Dépierre đã cử linh mục Pierre d’ Assou có tên Hoa là Đàm Á Tố (Tam An Su), đọc sang âm Việt là Cha Tam, đứng ra mua một khu đất rộng 3 hecta ở xóm Lò Rèn[1], mặt tiền đối diện đường Thủy Binh (Rue des Marins, nay là đường Trần Hưng Đạo), gần Lệ Châu hội quán (nhà thờ tổ nghề kim hoàn của Sài Gòn xưa), ngay trung tâm Chợ Lớn để xây dựng.

Ngày 3 tháng 12 năm 1900, nhân ngày lễ Thánh Phanxicô Xaviê (Saint Francisco Xavier), vị Giám mục địa phận Sài Gòn Mossard, đã đến làm phép đặt viên đá đầu tiên xây ngôi thánh đường, và vì thế ngôi thánh đường được mang tên vị thánh này.

Hai năm sau, vào ngày 10 tháng 1 năm 1902, lễ cung hiến thánh đường được tiến hành một cách trọng thể. Tuy nhiên, vì linh mục Pierre d’ Assou, người đứng ra xây dựng nhà thờ và cũng là vị cha sở đầu tiên, nên dân gian quen gọi là nhà thờ Cha Tam.

Sau đó, Cha Tam cũng đã cho xây dựng thêm ở khu vực nhà thờ một trường học, nhà nuôi trẻ, một nhà nội trú và một số nhà dành để cho thuê. Vào năm 1990, tháp chuông nhà thờ được tu sửa lại và cung thánh được tân trang.